When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search
搜索智能体何时该问:面向澄清感知深度搜索的 DiscoBench 基准
🧭 交互式搜索 · 歧义澄清基准 ★ 深度解读
Tencent Hunyuan · Tsinghua University
提出动态歧义传播的交互式搜索基准 DiscoBench,揭示当前 LLM 搜索智能体主动澄清与歧义检测分离的短板。
📌 工作参考价值(4 点)
- 搜索/推荐 Agent 的澄清模块设计:在电商搜索或推荐助手中,当用户输入模糊查询(如“上次那种风格的裙子”)时,不要直接硬搜或盲目推荐,应借鉴 DiscoBench 的歧义检测思路,先判断是否存在实体、版本或标准歧义,再向用户请求区分性线索(例如“是长裙还是短裙?”),显著提升任务成功率。
- 工具调用的策略性分配:实验表明,频繁调用搜索工具而忽略澄清的“SearchHeavyGuess”成功率甚至低于直接猜测(51.9% vs 56.5%)。在 Agent 架构中应嵌入显式的歧义识别节点,当检索结果出现多个候选或冲突时强制触发澄清,而非继续消耗 Token 进行无效搜索。
- 歧义检测与问题生成解耦:Qwen3.6-Max 的澄清问题质量很高(CE-A 94.7%),但因为几乎不主动提问(Ask 仅 0.07)而表现垫底。这提示在构建交互式 Agent 时需将“何时问”与“问得好”拆分为两个独立模块分别优化,例如单独训练歧义触发器。
- 交互评估的用户模拟器复现:DiscoBench 使用 LLM 模拟用户逐步披露区分性线索,这种低成本方案可直接迁移到电商对话 Agent 的离线评估中,用于自动化测试多轮澄清策略的效果,减少人工评估成本。